Ý tưởng về việc thiết kế và thi công xây dựng Nhà Quốc hội đã được hình thành ngay từ khi Tiếp quản Thủ đô Hà Nội. Tháng 3 năm 1960, một trăm chuyên gia, cán bộ, công nhân Việt Nam được Chính phủ triệu tập, nhận lệnh đi Bắc Kinh trong 9 tháng với các mục đích: Học hỏi kinh nghiệm thiết kế và xây dựng nhà Quốc hội; trực tiếp làm các công việc chế tạo sản phẩm có liên quan đến nhà Quốc hội; tham quan mười công trình lớn của Bắc Kinh vừa khánh thành năm 1959, đặc biệt là Đại lễ đường Nhân dân (tức Nhà Quốc hội Trung Quốc).[17]

Cùng thời điểm đó, ở Việt Nam nhóm chuyên gia Trung Quốc cùng với các kiến trúc sư Việt Nam như Nguyễn Hữu Tiềm, Hoàng Như Tiếp, Ngô Huy Quỳnh tiến hành thiết kế nhà Quốc hội Việt Nam trong ngôi nhà trên khu vực trường đua ngựa Hoàng Hoa Thám. Khu đất này (tức Cung thể thao Quần Ngựa ngày nay) được dự kiến dành để xây dựng nhà Quốc hội Việt Nam. Nhóm chuyên gia Trung – Việt đã hoàn chỉnh đồ án thiết kế mô hình nhà Quốc hội Việt Nam và trưng bày sản phẩm thiết kế tại trụ sở Bộ Xây dựng. Nhóm chuyên gia đã báo cáo chủ tịch Hồ Chí Minh cùng các vị lãnh đạo nhà nước Việt Nam. Chủ tịch Hồ Chí Minh có ý kiến là khi đó đất nước chưa thống nhất lại còn nghèo, khi nào đất nước thống nhất sẽ xây nhà Quốc hội đàng hoàng hơn, to đẹp hơn, trước mắt chỉ nên xây một hội trường có quy mô vừa phải làm nơi họp tạm thời, "không có gì phải xấu hổ vì không có hội trường lớn". Khi các chuyên gia Trung Quốc về nước, đại diện lãnh đạo Việt Nam cảm ơn và thông báo đại ý: do tình hình thế giới và trong nước, nên chưa có điều kiện thi công nhà Quốc hội.[8][17][18][19]

Năm 1964, chiến tranh phá hoại miền Bắc lần thứ nhất đã khiến kế hoạch xây nhà Quốc hội bị ngưng lại hẳn. Kiến trúc sư Nguyễn Cao Luyện và một số kiến trúc sư khác được giao thiết kế, xây dựng hội trường Ba Đình, hoàn thành năm 1963. Hội trường Ba Đình được dự kiến là nơi họp tạm thời nên kiến trúc và quy mô xây dựng chỉ ở mức độ khiêm tốn.[8][9][17]

Ý tưởng xây dựng một hội trường khang trang, hiện đại của quốc gia biểu trưng cho thời kỳ phát triển mới của Việt Nam được thủ tướng Võ Văn Kiệt đề xuất. Khoảng năm 1998–1999, Chính phủ ra chủ trương xây một trung tâm hội nghị lớn, hiện đại và giao cho Bộ Xây dựng chuẩn bị. Bộ Xây dựng đề xuất vị trí khu 18 Hoàng Diệu vì cả khu đất khá rộng mới chỉ có hội trường Ba Đình. Khi đưa vấn đề này ra Quốc hội thì có ý kiến đề nghị phải xây Nhà Quốc hội, bởi Quốc hội các nước đều có trụ sở riêng, trong khi Quốc hội Việt Nam suốt mấy chục năm vẫn họp chung ở hội trường Ba Đình, từ đó dẫn đến ý tưởng làm Nhà Quốc hội gắn liền với hội trường Ba Đình mới làm Trung tâm Hội nghị Quốc gia.[8]